Canal-adapter简单介绍及部分源码解析
Canal-adapter简单介绍及部分源码解析
基于Kylin的数据统计分析平台架构设计与实现
前言此项目是我在TP-LINK公司云平台部门做的一个项目，总体包括云上数据自动化统计流程的设计和组件的开发。目的是为了对云平台上的设备和用户数据做多维度的统计和分析，以及便于观察设备数据的历史趋势，让业务部门更好地做业务决策。整体的架构与数据流向如下图所示，采用Hive做数据仓库，使用Spark实现
视频号直播信用分总被扣？如何提高信用分？
随着视频号的规则愈加完善，许多主播经常在直播的时候被扣除信用分，以至于直播被限流、禁播等。许多用户还不太明白直播信用分是什么，为什么会被扣除信用分，又要如何恢复提高呢？如何查看直播信用分？用户进入视频号后，点击【创作者中心】，到【创作者服务】，再点击【违规查询】，再点击【直播】，即可查看自己的直播信
Anaconda安装教程（超详细版）
目录一、Anaconda简介二、运行环境三、安装Anaconda四、手动配置环境变量（重点）五、测试Anaconda环境是否配置成功一、Anaconda简介Anaconda，一个开源的Python发行版本，可用于管理Python及其相关包，包含了conda、Python等180多个科学包及其依赖项。
Pyspark读写csv,txt,json,xlsx,xml,avro等文件
Spark读写txt文件 Spark读写csv文件 Spark读写parquet文件 Spark读写json文件 Spark读写excel文件 Spark读写xml文件 Spark读写orc文件 Spark读写avro文件 Spark读写mysql中的表
十八、Flink自定义多并行Source
Flink自定义多并行Source
十二、Flink自定义 FlatMap 方法
Flink自定义FlatMap方法
ZooKeeper
ZooKeeper总结
Flink - Java篇
文章目录前言一、概述1 Flink是什么2 架构分层3 数据处理流水线4 运行组件TaskManagerJobManagerResourceManagerDispatcher5 其他流式计算框架二、入门与使用1 Flink基本安装1.1 Linux1.2 Java1.3 Scala（待补充）1.4
【数仓建设系列之一】什么是数据仓库？
数据仓库是一个存储和管理大量结构化和非结构化数据的存储集合，它以主题为向导，通过整合来自不同数据源下的数据(比如各业务数据，日志文件数据等)，解决企业数据孤岛，为企业提供统一的数据视图。通过构建不同时间范围或不同业务主题下的分析报告和数据报表等，为企业决策提供一定程度上的支持和帮助。
十三、Flink使用local模式执行任务 并开启Flink的webUI
Flink使用local模式执行任务并开启Flink的webUI
拉链表的制作过程
**背景：**对于一些维度表，数据量特别大，每天又会有新增或者修改的数据，但是这部分数据总数据量的比重不大。如果做成每日全量数据，会导致大量的重复数据，占用存储资源；如果做成全量最新，则会缺少历史数据。针对这种情况，可以考虑使用拉链表。**设计思路：**每行数据加上两个字段，开始时间，结束时间。初始
GateUpdate楚楚留香网关数据记录分析
作者针对ServerTools的数据加载进行了全方位的分析，何为数据分析？数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，将它们加以汇总和理解并消化，以求相对完整地开发数据的功能，发挥数据的作用。数据分析是为了提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。数据分析的数学基础
37本国产SCI期刊推荐！涵盖9大领域，建议收藏！①
评语：Cancer Biology & Medicine作为JCR一区期刊，医学，研究与实验领域全球第20名的杂志，影响因子5分+，含金量肯定是有的。尤其是心脏病学的个案报道，可以试试投给这个期刊，毕竟现在很多期刊都声明了不接受个案报道，因此，这个免版面费且审稿快的期刊不失为一个选择。评语：Chin
Apache Doris 系列：Bucket(分桶)数量设置建议
Apache Doris集群上线运行一段时间后，随着越来越多的数据增长，集群每次重启后一周左右，读写就会开始变得越来越慢，直到无法正常进行读写。注：表的数据量可以通过 SHOW DATA。命令查看，结果除以副本数，即表的数据量。
解决Elasticsearch集群开启账户密码安全配置自相矛盾的坑
一、采坑过程最近在配置elasticsearch生产可用的集群环境时，集群搭建完成后，为了安全，启用es集群的安全配置，根据官方文档Set up minimal security for Elasticsearch这一节来配置集群账户密码，然后就出现了开启安全模式后，./bin/elasticsea
R语言基础之R语言入门
R语言最初是由新西兰奥克兰大学统计系的教授Ross Ihaka和Robert Gentleman在S语言基础上开发完成的。是一门解释性语言。在我看来R语言是一门数学性极强的语言，或者说这是一门为数学而生的语言，因为其具有极其出色的计算与统计分析能力...
Openlineage数据地图
Openlineage 是一款数据血缘采集和分析的开源框架。不同的元数据管理系统都有着自己的一套元数据定义，Openlineage的设计相当于在中间架设了一层格式转换，类似于一个转接口。对于元数据的统一来说，Openlineage的出现让使用者无需关注背后的元数据系统是什么，使用的是哪个元数据插件进
云计算复习
云计算复习纲要
启动Elasticsearch时：[failed to obtain node locks]
1、报错内容[root@cnsz91vl01085 elasticsearch-7.4.2]# cat logs/yss.logCaused by: java.lang.IllegalStateException: failed to obtain node locks, tried [[/app/
